在概率密度范围内相对于Wassersein度量的空间的梯度流程通常具有很好的特性,并且已在几种机器学习应用中使用。计算Wasserstein梯度流量的标准方法是有限差异,使网格上的基础空间离散,并且不可扩展。在这项工作中,我们提出了一种可扩展的近端梯度型算法,用于Wassersein梯度流。我们的方法的关键是目标函数的变分形式,这使得可以通过引流 - 双重优化实现JKO近端地图。可以通过替代地更新内部和外环中的参数来有效地解决该原始问题。我们的框架涵盖了包括热方程和多孔介质方程的所有经典Wasserstein梯度流。我们展示了若干数值示例的算法的性能和可扩展性。
translated by 谷歌翻译
多边缘最优运输(MOT)是最佳运输到多个边缘的概括。最佳运输已经进化为许多机器学习应用中的重要工具,其多边缘扩展开辟了解决机器学习领域的新挑战。然而,MOT的使用很大程度上受到其计算复杂性的影响,其在边缘数量中呈指数级尺度。幸运的是,在许多应用程序中,例如重心或插值问题,成本函数遵守结构,最近被利用以开发有效的计算方法。在这项工作中,我们可以为这些方法推导计算范围。以$ N $积分支持$ M $ M $ M $ Myginal发行版,我们提供了$ \ Mathcal {\ Tilde O}(D(g)Mn ^ 2 \ epsilon ^ { - 2})$ \ \ epsilon $-Accuracy当问题与直径为D(g)$的树相关联时。对于Wassersein的特殊情况,这对应于星形树,我们的界限与现有的复杂性对齐。
translated by 谷歌翻译
Monge Map是指两个概率分布之间的最佳运输映射,并提供了将一个分发转换为另一个的原则方法。尽管最佳运输问题的数值方法的快速发展,但计算Monge地图仍然具有挑战性,特别是对于高维问题。在本文中,我们提出了一种可扩展算法,用于计算两个概率分布之间的Monge地图。我们的算法基于最佳运输问题的弱形式,因此它仅需要来自边缘的样本而不是其分析表达式,并且可以容纳两个具有不同尺寸的分布之间的最佳运输。我们的算法适用于一般成本函数,与其他现有方法相比,用于使用样本估计Monge Maps的方法,这些方法通常用于二次成本。通过具有合成和现实数据的一系列实验来证明我们的算法的性能。
translated by 谷歌翻译
Wasserstein BaryCenter是一种原理的方法来表示给定的一组概率分布的加权平均值,利用由最佳运输所引起的几何形状。在这项工作中,我们提出了一种新颖的可扩展算法,以近似于旨在在机器学习中的高维应用的Wassersein重构。我们所提出的算法基于Wassersein-2距离的Kantorovich双重制定以及最近的神经网络架构,输入凸神经网络,其已知参数化凸函数。我们方法的显着特征是:i)仅需要来自边缘分布的样本; ii)与现有方法不同,它代表了具有生成模型的重心,因此可以在不查询边际分布的情况下从重心产生无限样品; III)它与一个边际案例中的生成对抗性模型类似。我们通过在多个实验中将其与最先进的方法进行比较来证明我们的算法的功效。
translated by 谷歌翻译
准确的牙齿体积分割是计算机辅助牙齿分析的先决条件。基于深度学习的牙齿分割方法已经达到了令人满意的表现,但需要大量的牙齿数据。公开可用的牙科数据是有限的,这意味着无法在临床实践中复制,评估和应用现有方法。在本文中,我们建立了一个3D Dental CBCT数据集Ctooth+,具有22个完全注释的卷和146个未标记的体积。我们进一步评估了基于完全监督的学习,半监督学习和积极学习的几种最先进的牙齿量细分策略,并定义了绩效原则。这项工作为牙齿体积分割任务提供了新的基准,该实验可以作为未来基于AI的牙科成像研究和临床应用开发的基线。
translated by 谷歌翻译
光谱超分辨率(SSR)是指从RGB对应物中恢复的高光谱图像(HSI)。由于SSR问题的一对多性,可以将单个RGB图像恢复到许多HSIS。解决这个暗示问题的关键是插入多源以前的信息,如自然RGB空间上下文的上下文,深度特征或固有的HSI统计事先等,以提高重建的置信度和保真度光谱。然而,大多数目前的方法只考虑设计定制的卷积神经网络(CNN)的一般和有限的前瞻,这导致无法有效地减轻不良程度。为解决有问题的问题,我们为SSR提出了一个新颖的全面的先前嵌入关系网络(HPRN)。基本上,核心框架由几个多剩余关系块(MRB)进行多种组装,其完全便于RGB信号之前的低频内容的传输和利用。创新性地,引入了RGB输入的语义之前,以识别类别属性,并且向前提出了语义驱动的空间关系模块(SSRM)以使用语义嵌入关系矩阵在聚类的类似特征之间执行特征聚合。此外,我们开发了一种基于变换器的通道关系模块(TCRM),其习惯使用标量作为先前深度特征中的频道方面关系的描述符,并用某些向量替换为变换器特征交互,支持表示更加歧视。为了保持高光谱频带之间的数学相关和光谱一致性,将二阶的先前约束(SOPC)结合到丢失功能中以引导HSI重建过程。
translated by 谷歌翻译
由于扭曲钻的结构复杂,因此对于其同轴误差测量是艰难和挑战的。本文提出了一种新颖的扭转钻头同轴误差测量的新机理,框架和方法。该机构包括编码器,PLC控制器,线结构传感器和高精度转盘。首先,当钻头转动PLC的控制时,通过线结构光传感器收集扭转钻头的轮廓点云数据。其次,研究了基于GMM的基于GMM的基于GMM的点云分割算法,基于局部深度特征来提取刀片背面数据。为了提高测量精度,设计统计滤波器以在目标区域提取期间去除异常值。然后,根据同轴性误差的两个特征,提出了一种基于轴对称轮廓差异的正交合成的轴重建方法,便于预先定位钻轴的最大偏差横截面。最后,通过在预先定位的最大偏差位置拟合基准轴和轴来测量同轴误差。最后,进行了大量实验,并表明我们的方法是准确性和鲁棒性。
translated by 谷歌翻译
我们提出了块茎:一种简单的时空视频动作检测解决方案。与依赖于离线演员检测器或手工设计的演员位置假设的现有方法不同,我们建议通过同时执行动作定位和识别从单个表示来直接检测视频中的动作微管。块茎学习一组管芯查询,并利用微调模块来模拟视频剪辑的动态时空性质,其有效地加强了与在时空空间中的演员位置假设相比的模型容量。对于包含过渡状态或场景变更的视频,我们提出了一种上下文意识的分类头来利用短期和长期上下文来加强行动分类,以及用于检测精确的时间动作程度的动作开关回归头。块茎直接产生具有可变长度的动作管,甚至对长视频剪辑保持良好的结果。块茎在常用的动作检测数据集AVA,UCF101-24和JHMDB51-21上优于先前的最先进。
translated by 谷歌翻译
In this paper, we propose a robust 3D detector, named Cross Modal Transformer (CMT), for end-to-end 3D multi-modal detection. Without explicit view transformation, CMT takes the image and point clouds tokens as inputs and directly outputs accurate 3D bounding boxes. The spatial alignment of multi-modal tokens is performed implicitly, by encoding the 3D points into multi-modal features. The core design of CMT is quite simple while its performance is impressive. CMT obtains 73.0% NDS on nuScenes benchmark. Moreover, CMT has a strong robustness even if the LiDAR is missing. Code will be released at https://github.com/junjie18/CMT.
translated by 谷歌翻译
Different people speak with diverse personalized speaking styles. Although existing one-shot talking head methods have made significant progress in lip sync, natural facial expressions, and stable head motions, they still cannot generate diverse speaking styles in the final talking head videos. To tackle this problem, we propose a one-shot style-controllable talking face generation framework. In a nutshell, we aim to attain a speaking style from an arbitrary reference speaking video and then drive the one-shot portrait to speak with the reference speaking style and another piece of audio. Specifically, we first develop a style encoder to extract dynamic facial motion patterns of a style reference video and then encode them into a style code. Afterward, we introduce a style-controllable decoder to synthesize stylized facial animations from the speech content and style code. In order to integrate the reference speaking style into generated videos, we design a style-aware adaptive transformer, which enables the encoded style code to adjust the weights of the feed-forward layers accordingly. Thanks to the style-aware adaptation mechanism, the reference speaking style can be better embedded into synthesized videos during decoding. Extensive experiments demonstrate that our method is capable of generating talking head videos with diverse speaking styles from only one portrait image and an audio clip while achieving authentic visual effects. Project Page: https://github.com/FuxiVirtualHuman/styletalk.
translated by 谷歌翻译